Imagine Before You Predict: Interleaved Latent Visual Reasoning for Video Event Prediction
先想象再预测：交错潜空间视觉推理用于视频事件预测
🧭 多模态推理 · 潜空间视觉预测
Shanghai AI Laboratory · University of Science and Technology of China · City University of Hong Kong · Nanjing University · Fudan University
通过交错生成语言与连续视觉潜空间片段，保留细粒度动态线索，大幅提升视频MLLM的未来事件预测精度
📌 工作参考价值（4 点）
- 多模态推荐场景（如直播带货、短视频电商）中，对用户行为或交互序列的预测可借鉴潜空间视觉推理，避免过早文本化损失动态姿态、几何关系等细粒度信息。
- 生成式推荐或Agent规划可引入交替生成语言token与连续视觉潜状态的方式，提升对未来场景的连续预测能力；特别是商品搭配、虚拟试穿等任务，保留视觉中间态可能减少幻觉。
- 使用RL优化采样得到的潜空间轨迹（LA-DAPO），结合结果对比奖励和时间多样性奖励，可迁移到对话式Agent或多步推荐策略中，用来微调生成路径的质量。
- 训练数据筛选策略——“选择未来视觉线索对预测有帮助的样本”——可类比推荐中挖掘对用户意图跳转有强信号的交互片段，用于训练预测模型。